VLM脑中真有一张3D地图？匹兹堡大学挖出了新证据
VLM脑中真有一张3D地图？匹兹堡大学挖出了新证据看一段房间视频，视觉语言模型（VLM）能够认出桌子、椅子和柜子。但在它的内部，这些物体是按颜色、形状组织在一起，还是形成了一张包含邻接关系的空间地图？
来自主题: AI技术研报
8012 点击 2026-10-20 16:22
# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
搜索
看一段房间视频，视觉语言模型（VLM）能够认出桌子、椅子和柜子。但在它的内部，这些物体是按颜色、形状组织在一起，还是形成了一张包含邻接关系的空间地图？
本文是北京大学彭宇新教授团队联合福州大学柯逍教授团队在细粒度多模态动作质量评价领域的最新研究成果，相关论文已被 ICML 2026 接收为 Spotlight，并已开源。真实世界中的多模态数据往往并不完整。在动作质量评价任务中，视频、光流、音频等模态能够从不同角度描述动作执行过程，但在实际采集时，传感器故障、环境噪声、隐私限制等因素都会导致模态缺失。
近日，来自英国南安普顿大学（University of Southampton）和广州大学的研究者团队提出 SlaClip，一种用于差分隐私随机梯度下降（DP-SGD）[1] 的自适应梯度剪裁方法。
当前，视频生成模型性能正在快速提升，尤其是基于Transformer架构的DiT模型，在视频生成领域的表现已经逐渐接近真实拍摄效果。然而，这些扩散模型也面临一个共同的瓶颈：推理时间长、算力成本高、生成速度难以提升。随着视频生成长度持续增加、分辨率不断提高，这个瓶颈正在成为影响视频创作体验的主要障碍之一。
在视觉处理任务中，Vision Transformers（ViTs）已发展成为主流架构。然而，近期研究表明，ViT 模型的密集特征中会出现部分与局部语义不一致的伪影（artifact），进而削弱模型在精细定位类任务中的性能表现。因此，如何在不耗费大量计算资源的前提下，保留 ViT 模型预训练核心信息并消除密集特征中的伪影？
在多模态智能浪潮中，视觉语言模型（Vision-Language Models, VLM）已成为连接视觉理解与语言生成的核心引擎。从图像描述、视觉问答到 AI 教育和交互系统，它们让机器能够「看懂世界、说人话」。
在 AI 技术飞速发展的今天，如何高效地将多个专业模型的能力融合到一个通用模型中，是当前大模型应用面临的关键挑战。全量微调领域已经有许多开创性的工作，但是在高效微调领域，尚未有对模型合并范式清晰的指引。
目前，最先进的对齐方法是使用知识蒸馏（Knowledge Distillation, KD）在所有 token 上最小化 KL 散度。然而，最小化全局 KL 散度并不意味着 token 的接受率最大化。由于小模型容量受限，草稿模型往往难以完整吸收目标模型的知识，导致直接使用蒸馏方法的性能提升受限。在极限场景下，草稿模型和目标模型的巨大尺寸差异甚至可能导致训练不收敛。
随着生成式 AI（如 Sora）的发展，合成视频几乎可以以假乱真，带来了深度伪造与虚假信息传播的风险。现有检测方法多依赖表层伪影或数据驱动学习，难以在高质量生成视频中保持较好的泛化能力。其根本原因在于，这些方法大都未能充分利用自然视频所遵循的物理规律，挖掘自然视频的更本质的特征。
如何让一个并不巨大的开源大模型，在面对需要多步检索与复杂逻辑整合的问题时，依然像 “冷静的研究员” 那样先拆解、再查证、后归纳，最后给出可核实的结论？